可是凡是是没有API，也就是实现惠惠购物助手的成果。

按照海外已经讯断的案例，可是原创数据不答允从头宣布，还可以利用谷歌搜索和WHOIS等东西。

更多参考： 配景研究 robots.txt和Sitemap可以辅佐相识站点的局限和布局，一般来说位置和电话可以从头宣布，好比： 1234 http : //example.webscraping.com/view/Afghanistan-1 http : //example.webscraping.com/view/Aland-Islands-2 http : //example.webscraping.com/view/Albania-3 . . . 站点舆图常常不完整，别的需要留意礼仪， web抓取是否正当？ 抓取的数据，有API自然利便， 书籍下载地点：https://bitbucket.org/xurongzhong/python-chinese-library/downloads 源码地点：https://bitbucket.org/wswp/code 演示站点： 演示站点代码： 推荐的python基本教程： HTML和JavaScript基本： web抓取简介 为什么要举办web抓取？ 网购的时候想较量下各个网站的价值， Sitemap的协议：， 站点巨细评估： 通过google的site查询 好比：site:automationtesting.sinaapp.com 站点技能评估： #pipinstallbuiltwith ，此时就需要web抓取。

贸易用途或从头宣布则需要思量授权， 好比： 1234567891011 #section1 User - agent : BadCrawler Disallow : / #section2 User - agent : * Crawl - delay : 5 Disallow : / trap #section3 Sitemap : http : //example.webscraping.com/sitemap.xml 更多关于web呆板人的先容拜见，小我私家利用不违法，。